机器学习模型严重易于来自对抗性示例的逃避攻击。通常，对逆势示例的修改输入类似于原始输入的修改输入，在WhiteBox设置下由对手的WhiteBox设置构成，完全访问模型。然而，最近的攻击已经显示出使用BlackBox攻击的对逆势示例的查询号显着减少。特别是，警报是从越来越多的机器学习提供的经过培训的模型的访问界面中利用分类决定作为包括Google，Microsoft，IBM的服务提供商，并由包含这些模型的多种应用程序使用的服务提供商来利用培训的模型。对手仅利用来自模型的预测标签的能力被区别为基于决策的攻击。在我们的研究中，我们首先深入潜入最近的ICLR和SP的最先进的决策攻击，以突出发现低失真对抗采用梯度估计方法的昂贵性质。我们开发了一种强大的查询高效攻击，能够避免在梯度估计方法中看到的嘈杂渐变中的局部最小和误导中的截留。我们提出的攻击方法，ramboattack利用随机块坐标下降的概念来探索隐藏的分类器歧管，针对扰动来操纵局部输入功能以解决梯度估计方法的问题。重要的是，ramboattack对对对手和目标类别可用的不同样本输入更加强大。总的来说，对于给定的目标类，ramboattack被证明在实现给定查询预算的较低失真时更加强大。我们使用大规模的高分辨率ImageNet数据集来策划我们的广泛结果，并在GitHub上开源我们的攻击，测试样本和伪影。

Graph neural networks (GNNs) have demonstrated excellent performance in a wide range of applications. However, the enormous size of large-scale graphs hinders their applications under real-time inference scenarios. Although existing scalable GNNs leverage linear propagation to preprocess the features and accelerate the training and inference procedure, these methods still suffer from scalability issues when making inferences on unseen nodes, as the feature preprocessing requires the graph is known and fixed. To speed up the inference in the inductive setting, we propose a novel adaptive propagation order approach that generates the personalized propagation order for each node based on its topological information. This could successfully avoid the redundant computation of feature propagation. Moreover, the trade-off between accuracy and inference latency can be flexibly controlled by simple hyper-parameters to match different latency constraints of application scenarios. To compensate for the potential inference accuracy loss, we further propose Inception Distillation to exploit the multi scale reception information and improve the inference performance. Extensive experiments are conducted on four public datasets with different scales and characteristics, and the experimental results show that our proposed inference acceleration framework outperforms the SOTA graph inference acceleration baselines in terms of both accuracy and efficiency. In particular, the advantage of our proposed method is more significant on larger-scale datasets, and our framework achieves $75\times$ inference speedup on the largest Ogbn-products dataset.

数十年来，计算机系统持有大量个人数据。一方面，这种数据丰度允许在人工智能（AI），尤其是机器学习（ML）模型中突破。另一方面，它可能威胁用户的隐私并削弱人类与人工智能之间的信任。最近的法规要求，可以从一般情况下从计算机系统中删除有关用户的私人信息，特别是根据要求从ML模型中删除（例如，“被遗忘的权利”）。虽然从后端数据库中删除数据应该很简单，但在AI上下文中，它不够，因为ML模型经常“记住”旧数据。现有的对抗攻击证明，我们可以从训练有素的模型中学习私人会员或培训数据的属性。这种现象要求采用新的范式，即机器学习，以使ML模型忘记了特定的数据。事实证明，由于缺乏共同的框架和资源，最近在机器上学习的工作无法完全解决问题。在本调查文件中，我们试图在其定义，场景，机制和应用中对机器进行彻底的研究。具体而言，作为最先进的研究的类别集合，我们希望为那些寻求机器未学习的入门及其各种表述，设计要求，删除请求，算法和用途的人提供广泛的参考。 ML申请。此外，我们希望概述范式中的关键发现和趋势，并突出显示尚未看到机器无法使用的新研究领域，但仍可以受益匪浅。我们希望这项调查为ML研究人员以及寻求创新隐私技术的研究人员提供宝贵的参考。我们的资源是在https://github.com/tamlhp/awesome-machine-unlearning上。

在社交媒体上传播谣言对社会构成了重要威胁，因此最近提出了各种谣言检测技术。然而，现有的工作重点是\ emph {what}实体构成谣言，但几乎没有支持理解\ emph {为什么}实体已被归类为这样。这样可以防止对检测的谣言以及对策设计的有效评估。在这项工作中，我们认为，可以通过过去检测到的相关谣言的例子来给出检测到的谣言的解释。一系列类似的谣言有助于用户概括，即了解控制谣言的探测的特性。由于通常使用特征声明的图表对社交媒体的谣言传播通常是建模的，因此我们提出了一种逐个示例的方法，鉴于谣言图，它从过去的谣言中提取了$ k $最相似和最多的子图。挑战是所有计算都需要快速评估图之间的相似性。为了在流式设置中实现该方法的有效和适应性实现，我们提出了一种新颖的图表学习技术，并报告了实施注意事项。我们的评估实验表明，我们的方法在为各种谣言传播行为提供有意义的解释方面优于基线技术。

动态图是指结构随时间变化的图形。尽管学习顶点表示（即嵌入）对动态图的好处，但现有作品仅将动态图视为顶点连接中的一系列变化，忽略了这种动态的至关重要的异步性，在其中每个局部结构的演变都在每个局部结构开始在每个局部结构的演变开始，不同的时间和持续时间在各个持续时间内。为了在图中维持异步结构演变，我们将动态图作为与角度（TOV）和边缘（toe）的时间板相关的时间边缘序列进行创新。然后，提出了一个时间感知的变压器将顶点的动态连接和脚趾嵌入到学习的顶点表示中。同时，我们将每个边缘序列视为一个整体，并嵌入第一个顶点的TOV，以进一步编码时间敏感的信息。在几个数据集上进行了广泛的评估表明，我们的方法在广泛的图形挖掘任务中优于最先进的方法。同时，它非常有效且可扩展，可用于嵌入大规模的动态图。

下一个利益点（POI）的建议已成为基于位置的社交网络（LBSN）中必不可少的功能，因为它在帮助人们决定下一个POI访问方面有效。但是，准确的建议需要大量的历史检查数据，因此威胁用户隐私，因为云服务器需要处理位置敏感的数据。尽管有几个用于保护隐私的POI建议的设备框架，但在存储和计算方面，它们仍然是资源密集的，并且对用户POI交互的高稀疏性表现出有限的鲁棒性。在此基础上，我们为POI推荐（DCLR）提出了一个新颖的分散协作学习框架，该框架允许用户以协作方式在本地培训其个性化模型。 DCLR大大降低了本地模型对云的依赖性训练，并可用于扩展任意的集中建议模型。为了抵消在学习每个本地模型时在设备用户数据的稀疏性，我们设计了两个自学信号，以通过POI的地理和分类相关性在服务器上预处理POI表示。为了促进协作学习，我们创新建议将来自地理或语义上类似用户的知识纳入每个本地模型，并以细心的聚合和相互信息最大化。协作学习过程可利用设备之间的通信，同时仅需要中央服务器的少量参与来识别用户组，并且与诸如差异隐私之类的常见隐私保护机制兼容。我们使用两个现实世界数据集评估了DCLR，结果表明，与集中式同行相比，DCLR的表现优于最先进的设备框架，并产生竞争结果。

由于对个人医疗保健和大流行而越来越关注，E-Health的普及是增殖的。如今，通过机器学习模型对医学诊断的增强在电子健康分析的许多方面都非常有效。然而，在经典的基于云/集中的电子健康范式范式中，所有数据都将集中存储在服务器上，以促进模型培训，这不可避免地引发隐私问题和高延迟。提出了分布式解决方案，如分散的随机梯度下降（D-SGD），以基于个人设备提供安全和及时的诊断结果。然而，D-SGD等方法受梯度消失问题，通常在早期训练阶段缓慢进行，从而阻碍培训的有效性和效率。此外，现有方法容易发生偏向具有密集数据的用户的学习模型，在为少数群体提供电子健康分析时损害公平性。在本文中，我们提出了一个分散的块坐标血统（D-BCD）学习框架，可以更好地优化分布在用于电子健康分析的分散设备上的深度神经网络的模型。三个真实数据集的基准测试实验说明了我们提出的D-BCD的有效性和实用性，其中额外的仿真研究展示了D-BCD在现实生活中的强有力的适用性。

知识图（kg）对齐 - 指识别不同kgs中同一件事的实体的任务 - 被认为是KG构造领域中最重要的操作之一。然而，现有的对齐技术通常假设输入kgs是完整的并且同性的，这是由于域，大小和稀疏性的现实世界异质性而不是真实。在这项工作中，我们解决了与代表学习对齐不完整的KG对齐的问题。我们的KG嵌入式框架利用了两个特征频道：基于传输型和基于接近的。前者通过翻译路径捕获实体之间的一致性约束，而后者通过注意引导关系感知图形神经网络捕获KG的邻域结构。两个特征频道共同学习以在输入kgs之间交换重要特征，同时强制在同一嵌入空间中强制输入kg的输出表示。此外，我们开发了缺失的链接检测器，该探测器发现并恢复培训过程中输入kgs中的缺失链接，这有助于减轻不完整性问题，从而提高学习象征的兼容性。然后将嵌入的熔合融合以生成对准结果，并且高置信匹配节点对被更新为预先调整的监控数据以逐渐改善嵌入。经验结果表明，我们的型号比SOTA更准确，而且对不同级别的不完整性较高，高达15.2 \％。我们还证明了KGS之间交换的知识有助于揭示知识图表（A.K.A.知识完成）的看不见的事实，结果比SOTA知识图形完成技术高3.5 \％。

近年来，视觉伪造达到了人类无法识别欺诈的复杂程度，这对信息安全构成了重大威胁。出现了广泛的恶意申请，例如名人的假新闻，诽谤或勒索，政治战中的政治家冒充，以及谣言的传播吸引观点。结果，已经提出了一种富有的视觉验证技术，以试图阻止这种危险的趋势。在本文中，我们使用全面的和经验方法，提供了一种基准，可以对视觉伪造和视觉取证进行深入的洞察。更具体地，我们开发一个独立的框架，整合最先进的假冒生成器和探测器，并使用各种标准来测量这些技术的性能。我们还对基准测试结果进行了详尽的分析，确定了在措施与对策之间永无止境的战争中的比较参考的方法的特征。

随着人类生活中的许多实际应用，包括制造监控摄像机，分析和加工客户行为，许多研究人员都注明了对数字图像的面部检测和头部姿势估计。大量提出的深度学习模型具有最先进的准确性，如YOLO，SSD，MTCNN，解决了面部检测或HOPENET的问题，FSA-NET，用于头部姿势估计问题的速度。根据许多最先进的方法，该任务的管道由两部分组成，从面部检测到头部姿势估计。这两个步骤完全独立，不共享信息。这使得模型在设置中清除但不利用每个模型中提取的大部分特色资源。在本文中，我们提出了多任务净模型，具有利用从面部检测模型提取的特征的动机，将它们与头部姿势估计分支共享以提高精度。此外，随着各种数据，表示面部的欧拉角域大，我们的模型可以预测360欧拉角域的结果。应用多任务学习方法，多任务净模型可以同时预测人头的位置和方向。为了提高预测模型的头部方向的能力，我们将人脸从欧拉角呈现到旋转矩阵的载体。